Sinh năm 1969, Phương Văn Sơn lớn lên trong một gia đình mà ông gọi là "gia đình cổ cồn xanh". Ông là một người Khách Gia có tổ tiên đến từ Vu Đô, Giang Tây.[4] Thuở thiếu thời, Phương Văn Sơn nỗ lực rất ít ở trường và phải nhận điểm kém. Sau khi tốt nghiệp trung học, ở tuổi 20, ông thực hiện nghĩa vụ quân sự tại bắt buộc trong Quân đội Trung Hoa Dân Quốc. Những lúc không phải làm nhiệm vụ, Văn Sơn dành thời gian rảnh để đọc sách và xem phim, điều khơi dậy trong ông niềm hứng thú với ngôn từ.

Sau khi giải ngũ vào năm 1991, ông làm qua hơn 20 nghề lặt vặt trong suốt 7 năm, bao gồm nghề giao báo, thợ sửa đồ điện tử, công nhân nhà máy, nhân viên an ninh và tài xế xe tải.[5] Mặc dù phải làm những công việc không liên quan và không được đào tạo chính quy sau trung học về ngôn ngữ học, Phương Văn Sơn vẫn quyết tâm chuyển sự nghiệp sang viết lách. Năm 1992, ông xác định công việc mơ ước của mình sẽ là một viết kịch bản phim, và cố hiện thực hóa ước mơ bằng cách tham gia một số khóa học bổ trợ vào ban đêm. Sau một năm trời, ông ngày càng xa rời mục tiêu ban đầu. Ông vạch nên con đường dựng nghiệp mới: trước hết tạo dựng danh tiếng trong ngành giải trí bằng cách bước chân vào lĩnh vực âm nhạc với tư cách người viết lời bài hát, sau đó mới chuyển sang viết kịch bản phim.[6]